package kevin.bigdata.spark.rdd.builder

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @author: kevin  
 * @date: 11:37 2021/4/30
 */
object RDD_File {
  def main(args: Array[String]): Unit = {
    //TODO 准备环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD").set("spark.testing.memory","2147480000")
    val sc = new SparkContext(sparkConf)

    //TODO 创建RDD
    //从文件中创建RDD，将文件中的数据作为处理的数据源
    //path路径默认以当前环境的根路径为基准，可以写绝对路径，也可以写相对路径
//    val rdd: RDD[String] = sc.textFile("data/1.txt")
    //path路径可以是文件的具体路径，也可以目录名称
//    val rdd = sc.textFile("data")
    val rdd = sc.textFile("data/1*.txt")
    //path还可以是分布式文件系统路径：HDFS
    rdd.collect.foreach(println)

    //TODO 关闭环境
    sc.stop()
  }
}
